OneLLM es un marco unificado de alineación multimodal que utiliza un codificador común y un módulo de proyección unificado para alinear las entradas multimodales con LLM. Admite la comprensión de datos multimodales como imágenes, audio y video. Los experimentos demuestran que supera a los métodos existentes en múltiples tareas y presenta una sólida capacidad de cero disparos.